Ông tên thật là Đỗ Văn Cầm, sinh ngày 30 tháng 4 năm 1920 trong một gia đình nông dân nghèo, quê Cao Sơn, Ứng Hòa, tỉnh Hà Tây (nay thuộc Hà Nội). Cha ông là cụ Đỗ Văn Trang (1879-1932) và mẹ ông là cụ bà Vũ Thị Tởn (1878-1923). Ông sớm mồ côi cả cha lẫn mẹ từ năm 12 tuổi, sau đó phải lưu lạc để kiếm sống từ quê nhà lên Hà Nội. Năm 21 tuổi, ông đi lính khố xanh cho chính quyền thuộc địa Pháp để kiếm sống và tham gia quân đồn trú ở Lai Châu. Sau 2 năm thì được chuyển về Hà Nội và ông đào ngũ, nhờ đó thoát nạn trong vụ đảo chính của Nhật vào ngày 9 tháng 3 năm 1945.